Johannes SchüleIntraoperative Localization and Scene Reconstruction using Differentiable Rendering and Graph-based Landmark Registration with Application to Cystoscopy | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ISBN: | 978-3-8440-9262-2 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Series: | Institut für Systemdynamik Universität Stuttgart Herausgeber: Prof. Dr.-Ing. O. Sawodny Stuttgart | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Volume: | 71 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Keywords: | Intraoperative Localization; Scene Reconstruction; Differentiable Rendering; Inverse Differentiable Rendering; Graph-based Landmark Registration; Computer Vision; Localization; Graph Matching; Cystoscopy | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Type of publication: | Thesis | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Language: | English | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Pages: | 240 pages | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Figures: | 109 figures | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Weight: | 357 g | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Format: | 21 x 14,8 cm | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Binding: | Paperback | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Price: | 49,80 € / 62,30 SFr | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Published: | October 2023 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Buy: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DOI: | 10.2370/9783844092622 (Online document) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Download: | Available PDF-Files for this title: You need the Adobe Reader, to open the files. Here you get help and information, for the download. These files are not printable.
User settings for registered users You can change your address here or download your paid documents again.
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Recommendation: | You want to recommend this title? | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Review copy: | Here you can order a review copy. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Link: | You want to link this page? Click here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Export citations: |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Abstract: | Minimally invasive procedures, such as bladder endoscopy, reduce trauma but present navigation challenges due to restricted visibility. Traditional mapping methods are often not sufficient, and comprehensive solutions in the literature are scarce. This work introduces a novel approach for intraoperative navigation and scene reconstruction, focusing on deformable environments, such as those encountered in cystoscopy. The proposed reconstruction concept relies on a monocular camera image but can be flexibly extended to include additional sensor data. The fundamental reconstruction strategy employed in this work follows the question: How does the model representation and camera perspective need to be adjusted such that the rendering of the model matches the current observation?
The reconstruction process requires the formulation of several optimization objectives, necessitating a fully differentiable rendering approach. To this end, a novel formulation of an inverse rendering process is proposed, where 2D image data is projected from the camera's perspective onto a 3D mesh model. Vascular structures, which remain consistent despite deformations, serve as dependable landmarks. Combining graph-based landmark recognition with rendering-based reconstruction techniques offers a comprehensive solution for determining the intraoperative location and scene, especially considering the complexity of deformable surgical environments. |